一种立体图像处理方法、图像处理装置和相应的终端设备,该处理方法包括:获取立体图像的视差范围;对所述立体图像进行视差调整时,根据所述立体图像的视差范围和立体显示装置的视差特性,确定所述立体图像上各像素点的水平坐标的偏移量和偏移方向;根据确定的所述偏移量和偏移方向对所述立体图像上各像素点的水平坐标进行偏移。该图像处理装置包括获取单元,偏移参数确定单元和偏移单元,用于完成上述功能。本发明基于立体显示装置的视差表现能力,对要显示的立体图像进行动态视差调整,从而让立体图像在该立体显示装置上显示时,总是充分利用该立体显示装置的视差表现能力,提供给用户尽可能好的立体效果。
1.一种立体图像处理方法,包括:获取立体图像的视差范围;对所述立体图像进行视差调整时,根据所述立体图像的视差范围和立体显示装置的视差特性,确定所述立体图像上各像素点的水平坐标的偏移量和偏移方向;根据确定的所述偏移量和偏移方向对所述立体图像上各像素点的水平坐标进行偏移;其中,对所述立体图像进行视差调整时,根据所述立体图像的视差范围和立体显示装置的视差特性,确定所述立体图像上各像素点的水平坐标的偏移量和偏移方向,包括:以整体偏移的方式对所述立体图像的视差进行调整时,确定所述立体图像上各像素点的水平坐标的第一偏移量和第一偏移方向,使得立体图像的视差范围的中点与立体显示装置支持的视差范围的中点间的距离减小;所述根据确定的偏移量和偏移方向对所述立体图像上各像素点的水平坐标进行偏移,包括:根据确定的第一偏移量和第一偏移方向对所述立体图像上各像素点的水平坐标进行偏移;或者,对所述立体图像进行视差调整时,根据所述立体图像的视差范围和立体显示装置的视差特性,确定所述立体图像上各像素点的水平坐标的偏移量和偏移方向,包括:按等比例缩放的方式对立体图像的视差进行调整时,确定各像素点的水平坐标的第二偏移量和第二偏移方向,使得调整后的立体图像的视差范围落入设定的立体显示装置的最佳视差范围;其中,所述最佳视差范围由显示器的尺寸、种类和光学设计参数决定;所述根据确定的偏移量和偏移方向对所述立体图像上各像素点的水平坐标进行偏移,包括:根据确定的第二偏移量和第二偏移方向对所述立体图像上各像素点的水平坐标进行偏移。
2.如权利要求1所述的立体图像处理方法,其特征在于:所述以整体偏移的方式对所述立体图像的视差进行调整,是无条件地进行的;或者,是在所述立体图像的视差范围满足设定的第一条件进行;其中,所述第一条件包括以下条件中的至少一种:a)所述立体图像的视差范围超出了立体显示装置支持的视差范围;b)所述立体图像的视差范围的中点与立体显示装置支持的视差范围的中点之间的距离大于设定的阈值。
3.如权利要求1或2所述的立体图像处理方法,其特征在于:所述第一偏移量X_offset根据下式计算:X_offset=k₁(M-M")+k₂(N-N")其中,M为立体显示装置支持的最大正视差,N为立体显示装置支持的最小负视差,M’为立体图像的最大正视差,N’为立体图像的最小负视差,k₁,k₂分别表示正视差的权值和负视差的权值,k₁,k₂相等或不等,k₁+k₂=1。
4.如权利要求3所述的立体图像处理方法,其特征在于:所述根据确定的第一偏移量和第一偏移方向对所述立体图像上各像素点的水平坐标进行偏移,方式如下:将左图像上各像素点的水平坐标向左偏移X_offset;或者将右图像上各像素点的水平坐标向右偏移X_offset;或者将左图像上各像素点的水平坐标向左偏移X_offset1,同时将右图像上各像素点的水平坐标向右偏移X_offset2,且X_offset1+X_offset2=X_offset。
5.如权利要求2所述的立体图像处理方法,其特征在于:所述以整体偏移的方式对所述立体图像的视差进行调整,是在所述立体图像的视差范围满足设定的第一条件时进行,如所述立体图像的视差范围不满足设定的第一条件,执行以下步骤:按等比例缩放的方式对所述立体图像的视差进行调整,确定各像素点的水平坐标的第二偏移量和第二偏移方向,使得调整后的所述立体图像的视差范围落入设定的立体显示装置的最佳视差范围;根据确定的第二偏移量和第二偏移方向对所述立体图像上各像素点的水平坐标进行偏移。
6.如权利要求1所述的立体图像处理方法,其特征在于:所述根据确定的第一偏移量和第一偏移方向对立体图像上各像素点的水平坐标进行偏移之后,还包括:将所述立体图像上各像素点的水平坐标更新为偏移后的水平坐标,并根据偏移后各像素点的视差更新所述立体图像的视差范围;按等比例缩放的方式对所述立体图像的视差进行调整,确定各像素点的水平坐标的第二偏移量和第二偏移方向,使得调整后的所述立体图像的视差范围落入设定的立体显示装置的最佳视差范围;根据确定的第二偏移量和第二偏移方向对所述立体图像上各像素点的水平坐标进行偏移。
7.如权利要求1或6所述的立体图像处理方法,其特征在于:所述确定各像素点的水平坐标的第二偏移量时,每一像素点的水平坐标的第二偏移量X’_offset根据下式确定:X"_offset=D_h·(1-p),p=min(M_b/M",N_b/N")其中,D_h表示该像素点的视差,M_b,N_b分别为立体显示装置的最佳视差范围的最大正视差和最小负视差,M/5≤M_b≤M,N/5≤N_b≤N,M’和N’分别为立体图像的最大正视差和最小负视差,M和N分别为立体显示装置支持的最大正视差和最小负视差,p表示M_b/M"和N_b/N"中的最小值。
8.如权利要求7所述的立体图像处理方法,其特征在于:所述按等比例缩放的方式对立体图像的视差进行调整,是无条件地进行,或者,是在所述立体图像的视差范围满足设定的条件时进行,其中,所述条件包括以下条件中的至少一种:a)p值小于设定的最小值P_min;b)p值大于设定的最大值P_max;c)立体图像的视差范围超出了立体显示装置支持的视差范围。
9.如权利要求7所述的立体图像处理方法,其特征在于:所述根据确定的第二偏移量和第二偏移方向对所述立体图像上各像素点的水平坐标进行偏移,采用以下方式:将左图像上各像素点的水平坐标向右偏移X’_offset;或者将右图像上各像素点的水平坐标向左偏移X’_offset;或者将左图像上各像素点的水平坐标向右偏移X’_offset1,同时将右图像上各像素点的水平坐标向左偏移X’_offset2,且满足X’_offset1+X’_offset2=X’_offset。
10.如权利要求1所述的立体图像处理方法,其特征在于:所述立体图像处理方法是对视频内容中每一帧立体图像的处理方法,所述获取立体图像的视差范围是获取每一帧立体图像的最大正视差和最小负视差,作为该帧立体图像的视差范围;或者所述立体图像处理方法是对视频内容包含的一组立体图像的处理方法,所述获取立体图像的视差范围是确定该组中各立体图像的最大正视差的均值或最大值,以及各立体图像的最小负视差的均值或最小值,作为该组立体图像的视差范围;所述根据确定的所述偏移量和偏移方向对所述立体图像上各像素点的水平坐标进行偏移,是按相同方式对该组立体图像中的每一帧立体图像进行偏移处理。
11.一种图像处理装置,其特征在于,包括:获取单元,用于获取立体图像的视差范围;偏移参数确定单元,用于对所述立体图像进行视差调整时,根据所述立体图像的视差范围和立体显示装置的视差特性,确定所述立体图像上各像素点的水平坐标的偏移量和偏移方向;偏移单元,用于根据确定的所述偏移量和偏移方向对立体图像上各像素点的水平坐标进行偏移;其中,所述偏移参数确定单元包括:第一偏移参数确定单元,用于在以整体偏移的方式对所述立体图像的视差进行调整时,确定所述立体图像上各像素点的水平坐标的第一偏移量和第一偏移方向,使得立体图像的视差范围的中点与立体显示装置支持的视差范围的中点间的距离减小;所述偏移单元包括:第一偏移单元,用于根据确定的第一偏移量和第一偏移方向对所述立体图像上各像素点的水平坐标进行偏移;或者,所述偏移参数确定单元包括:第二偏移参数确定单元,用于在按等比例缩放的方式对立体图像的视差进行调整时,确定各像素点的水平坐标的第二偏移量和第二偏移方向,使得调整后的立体图像的视差范围落入设定的立体显示装置的最佳视差范围;其中,所述最佳视差范围由显示器的尺寸、种类和光学设计参数决定;所述偏移单元包括:第二偏移单元,用于根据确定的第二偏移量和第二偏移方向对所述立体图像上各像素点的水平坐标进行偏移。
12.如权利要求11所述的图像处理装置,其特征在于:第一偏移参数确定单元无条件地以整体偏移的方式对所述立体图像的视差进行调整;或者所述图像处理装置还包括:第一判断单元,用于判断所述立体图像的视差范围是否满足设定的第一条件,如满足,再激活所述第一偏移参数确定单元;其中,所述第一条件包括以下条件中的至少一种:a)所述立体图像的视差范围超出了立体显示装置支持的视差范围;b)所述立体图像的视差范围的中点与立体显示装置支持的视差范围的中点之间的距离大于设定的阈值。
13.如权利要求11所述的图像处理装置,其特征在于:所述第一偏移参数确定单元根据下式计算第一偏移量X_offset:X_offset=k₁(M-M")+k₂(N-N")其中,M为立体显示装置支持的最大正视差,N为立体显示装置支持的最小负视差,M’为立体图像的最大正视差,N’为立体图像的最小负视差,k₁,k₂分别表示正视差的权值和负视差的权值,k₁,k₂相等或不等,k₁+k₂=1;所述第一偏移单元根据确定的第一偏移量和第二偏移方向对所述立体图像上各像素点的水平坐标进行偏移时,方式如下:将左图像上各像素点的水平坐标向左偏移X_offset;或者将右图像上各像素点的水平坐标向右偏移X_offset;或者将左图像上各像素点的水平坐标向左偏移X_offset1,同时将右图像上各像素点的水平坐标向右偏移X_offset2,且X_offset1+X_offset2=X_offset。
14.如权利要求12所述的图像处理装置,其特征在于:还包括:与所述第一偏移单元连接的更新单元,用于将所述立体图像上各像素点的水平坐标更新为第一偏移单元偏移后的水平坐标,并根据偏移后各像素点的视差更新所述立体图像的视差范围,然后激活第二偏移参数确定单元;与所述更新单元连接的第二偏移参数确定单元,用于按等比例缩放的方式对所述立体图像的视差进行调整,确定各像素点的水平坐标的第二偏移量和第二偏移方向,使得调整后的所述立体图像的视差范围落入设定的立体显示装置的最佳视差范围;以及与所述第二偏移参数确定单元连接的第二偏移单元,用于根据所述第二偏移量和第二偏移方向对所述立体图像上各像素点的水平坐标进行偏移。
15.如权利要求11所述的图像处理装置,其特征在于:所述第二偏移参数确定单元确定各像素点的水平坐标的第二偏移量时,每一像素点的水平坐标的第二偏移量X’_offset根据下式确定:X"_offset=D_h·(1-p),p=min(M_b/M",N_b/N")其中,D_h表示该像素点的视差,M_b,N_b分别为立体显示装置的最佳视差范围的最大正视差和最小负视差,M/5≤M_b≤M,N/5≤N_b≤N,M’和N’分别为立体图像的最大正视差和最小负视差,M和N分别为立体显示装置支持的最大正视差和最小负视差,p表示M_b/M"和N_b/N"中的最小值;所述第二偏移单元根据确定的第二偏移量和第二偏移方向对所述立体图像上各像素点的水平坐标进行偏移,采用以下方式:将左图像上各像素点的水平坐标向右偏移X’_offset;或者将右图像上各像素点的水平坐标向左偏移X’_offset;或者将左图像上各像素点的水平坐标向右偏移X’_offset1,同时将右图像上各像素点的水平坐标向左偏移X’_offset2,且满足X’_offset1+X’_offset2=X’_offset。
16.如权利要求11~15任一所述的图像处理装置,其特征在于:所述获取单元获取立体图像的视差范围,是获取每一帧立体图像的最大正视差和最小负视差,作为该帧立体图像的视差范围;其他单元是对该帧立体图像进行处理;或者所述获取单元获取立体图像的视差范围,是确定一组中各立体图像的最大正视差的均值或最大值,以及各立体图像的最小负视差的均值或最小值,作为该组立体图像的视差范围;其他单元是对该组立体图像中的每一帧立体图像进行相同的处理。
17.一种终端设备,包括立体显示装置,其特征在于,还包括如权利要求11~15中任一权利要求所述的图像处理装置。技术领域
本发明涉及一种图像处理技术,特别是涉及一种立体图像处理方法、图像处理装置和相应的终端设备。
背景技术
目前立体显示技术已经快速发展起来,并被越来越多的用户所认可,其中以眼镜式立体显示和裸眼式立体显示为市场上最常见的方式。其中,眼镜式立体显示一般用在电影院或者家庭电视设备上,裸眼式立体显示一般应用在笔记本电脑、平板电脑和手机等移动设备上。针对个人消费者的立体显示装置的片源内容一般都是两个具备一定视差信息的图像来构成的,我们称之为立体图像(stereoxa0images),构成立体图像的图像分别称为左图像和右图像。图1a和图1b分别示出了作为示例的立体图像的左图像和右图像,其中有三个物体,分别是第一物体101,104(101为该物体在左图像中的标号,104为该物体在右图像中的标号,其他物体同此)、第二物体102,105和第三物体103,106。这三个物体分别具有不同的视差信息,其中第一物体具有正视差,距离观众更近,凸出显示平面;第二物体102具有零视差,呈现在显示平面上;第三物体具有负视差,距离观众更远,凹进显示平面。由于立体图像的左图像(L)和右图像(R)可以颠倒放置,所以视差的正负也会相应变化。文中,将比较一立体图像上各像素点的视差得到的正视差的最大值和负视差的最小值称为该立体图像的最大正视差和最小负视差,立体图像的最大正视差和最小负视差限定的区间为立体图像的视差范围。当立体显示装置的硬件设计固定之后,立体显示装置的视差特性如支持的视差范围(即该立体显示装置支持的最大正视差和最小负视差限定的区间,支持的最大正视差和最小负视差是指立体显示装置正常播放立体图像时所允许的图像像素点的最大正视差和最小负视差)就确定了,立体显示装置例如为液晶电视、PC(Personalxa0Computer,个人电脑)显示器、手机显示屏等。立体显示装置支持的视差范围体现了该立体显示装置的视差表现能力。目前,立体图像在采集后就会把视差信息固定下来。但立体图像的视差范围与立体显示装置支持的视差范围之间的关系,直接影响着显示的立体效果和观众的立体感受。
发明内容
本发明要解决的技术问题是提供一种能够使立体图像适应不同立体显示装置的立体图像处理方法、图像处理装置和相应的终端设备。为了解决上述问题,本发明提供了一种立体图像处理方法,包括:获取立体图像的视差范围;对所述立体图像进行视差调整时,根据所述立体图像的视差范围和立体显示装置的视差特性,确定所述立体图像上各像素点的水平坐标的偏移量和偏移方向;根据确定的所述偏移量和偏移方向对所述立体图像上各像素点的水平坐标进行偏移。较佳地,所述对所述立体图像进行视差调整时,根据所述立体图像的视差范围和立体显示装置的视差特性,确定所述立体图像上各像素点的水平坐标的偏移量和偏移方向,包括:以整体偏移的方式对所述立体图像的视差进行调整时,确定所述立体图像上各像素点的水平坐标的第一偏移量和第一偏移方向,使得立体图像的视差范围的中点与立体显示装置支持的视差范围的中点间的距离减小;所述根据确定的偏移量和偏移方向对所述立体图像上各像素点的水平坐标进行偏移,包括:根据确定的第一偏移量和第一偏移方向对所述立体图像上各像素点的水平坐标进行偏移。较佳地,所述以整体偏移的方式对所述立体图像的视差进行调整,是无条件地进行的;或者,是在所述立体图像的视差范围满足设定的第一条件进行;其中,所述第一条件包括以下条件中的至少一种:a)所述立体图像的视差范围超出了立体显示装置支持的视差范围;b)所述立体图像的视差范围的中点与立体显示装置支持的视差范围的中点之间的距离大于设定的阈值。较佳地,所述第一偏移量X_offset根据下式计算:X_offset=k₁(M-M′)+k₂(N-N′)其中,M为立体显示装置支持的最大正视差,N为立体显示装置支持的最小负视差,M’为立体图像的最大正视差,N’为立体图像的最小负视差,k₁,k₂分别表示正视差的权值和负视差的权值,k₁,k₂相等或不等,k₁+k₂=1。较佳地,所述根据确定的第一偏移量和第一偏移方向对所述立体图像上各像素点的水平坐标进行偏移,方式如下:将左图像上各像素点的水平坐标向左偏移X_offset;或者将右图像上各像素点的水平坐标向右偏移X_offset;或者将左图像上各像素点的水平坐标向左偏移X_offset1,同时将右图像上各像素点的水平坐标向右偏移X_offset2,且X_offset1+X_offset2=X_offset。较佳地,所述以整体偏移的方式对所述立体图像的视差进行调整,是在所述立体图像的视差范围满足设定的第一条件进行,如所述立体图像的视差范围不满足设定的第一条件,执行以下步骤:按等比例缩放的方式对所述立体图像的视差进行调整,确定各像素点的水平坐标的第二偏移量和第二偏移方向,使得调整后的所述立体图像的视差范围落入设定的立体显示装置的最佳视差范围;根据确定的第二偏移量和第二偏移方向对所述立体图像上各像素点的水平坐标进行偏移。较佳地,根据确定的第一偏移量和第一偏移方向对立体图像上各像素点的水平坐标进行偏移之后,还包括:将所述立体图像上各像素点的水平坐标更新为偏移后的水平坐标,并根据偏移后各像素点的视差更新所述立体图像的视差范围;按等比例缩放的方式对所述立体图像的视差进行调整,确定各像素点的水平坐标的第二偏移量和第二偏移方向,使得调整后的所述立体图像的视差范围落入设定的立体显示装置的最佳视差范围;根据确定的第二偏移量和第二偏移方向对所述立体图像上各像素点的水平坐标进行偏移。较佳地,对所述立体图像进行视差调整时,根据所述立体图像的视差范围和立体显示装置的视差特性,确定所述立体图像上各像素点的水平坐标的偏移量和偏移方向,包括:按等比例缩放的方式对立体图像的视差进行调整时,确定各像素点的水平坐标的第二偏移量和第二偏移方向,使得调整后的立体图像的视差范围落入设定的立体显示装置的最佳视差范围;所述根据确定的偏移量和偏移方向对所述立体图像上各像素点的水平坐标进行偏移,包括:根据确定的第二偏移量和第二偏移方向对所述立体图像上各像素点的水平坐标进行偏移。较佳地,所述确定各像素点的水平坐标的第二偏移量时,每一像素点的水平坐标的第二偏移量X’_offset根据下式确定:X′_offset=D_h·(1-p),p=min(M_b/M′,N_b/N′)其中,D_h表示该像素点的视差,M_b,N_b分别为立体显示装置的最佳视差范围的最大正视差和最小负视差,M/5≤M_b≤M,N/5≤N_b≤N,M’和N’分别为立体图像的最大正视差和最小负视差,M和N分别为立体显示装置支持的最大正视差和最小负视差,p表示M_b/M′和N_b/N′中的最小值。较佳地,所述按等比例缩放的方式对立体图像的视差进行调整,是无条件地进行,或者,是在所述立体图像的视差范围满足设定的条件时进行,其中,所述条件包括以下条件中的至少一种:a)p值小于设定的最小值P_min;b)p值大于设定的最大值P_max;c)立体图像的视差范围超出了立体显示装置支持的视差范围。较佳地,所述根据确定的第二偏移量和第二偏移方向对所述立体图像上各像素点的水平坐标进行偏移,采用以下方式:将左图像上各像素点的水平坐标向右偏移X’_offset;或者将右图像上各像素点的水平坐标向左偏移X’_offset;或者将左图像上各像素点的水平坐标向右偏移X’_offset1,同时将右图像上各像素点的水平坐标向左偏移X’_offset2,且满足X’_offset1+X’_offset2=X’_offset。较佳地,所述立体图像处理方法是对视频内容中每一帧立体图像的处理方法,所述获取立体图像的视差范围是获取每一帧立体图像的最大正视差和最小负视差,作为该帧立体图像的视差范围;或者所述立体图像处理方法是对视频内容包含的一组立体图像的处理方法,所述获取立体图像的视差范围是确定该组中各立体图像的最大正视差的均值或最大值,以及各立体图像的最小负视差的均值或最小值,作为该组立体图像的视差范围;所述根据确定的所述偏移量和偏移方向对所述立体图像上各像素点的水平坐标进行偏移,是按相同方式对该组立体图像中的每一帧立体图像进行偏移处理。相应地,本发明提供了一种图像处理装置,包括:获取单元,用于获取立体图像的视差范围;偏移参数确定单元,用于对所述立体图像进行视差调整时,根据所述立体图像的视差范围和立体显示装置的视差特性,确定所述立体图像上各像素点的水平坐标的偏移量和偏移方向;偏移单元,用于根据确定的所述偏移量和偏移方向对立体图像上各像素点的水平坐标进行偏移。较佳地,所述偏移参数确定单元包括:第一偏移参数确定单元,用于在以整体偏移的方式对所述立体图像的视差进行调整时,确定所述立体图像上各像素点的水平坐标的第一偏移量和第一偏移方向,使得立体图像的视差范围的中点与立体显示装置支持的视差范围的中点间的距离减小;所述偏移单元包括:第一偏移单元,用于根据确定的第一偏移量和第一偏移方向对所述立体图像上各像素点的水平坐标进行偏移。较佳地,第一偏移参数确定单元无条件地以整体偏移的方式对所述立体图像的视差进行调整;或者所述图像处理装置还包括:第一判断单元,用于判断所述立体图像的视差范围是否满足设定的第一条件,如满足,再激活所述第一偏移参数确定单元;其中,所述第一条件包括以下条件中的至少一种:a)所述立体图像的视差范围超出了立体显示装置支持的视差范围;b)所述立体图像的视差范围的中点与立体显示装置支持的视差范围的中点之间的距离大于设定的阈值。较佳地,所述第一偏移参数确定单元根据下式计算第一偏移量X_offset:X_offset=k₁(M-M′)+k₂(N-N′)其中,M为立体显示装置支持的最大正视差,N为立体显示装置支持的最小负视差,M’为立体图像的最大正视差,N’为立体图像的最小负视差,k₁,k₂分别表示正视差的权值和负视差的权值,k₁,k₂相等或不等,k₁+k₂=1;所述第一偏移单元根据确定的第一偏移量和第二偏移方向对所述立体图像上各像素点的水平坐标进行偏移时,方式如下:将左图像上各像素点的水平坐标向左偏移X_offset;或者将右图像上各像素点的水平坐标向右偏移X_offset;或者将左图像上各像素点的水平坐标向左偏移X_offset1,同时将右图像上各像素点的水平坐标向右偏移X_offset2,且X_offset1+X_offset2=X_offset。较佳地,所述立体图像处理装置还包括:与所述第一偏移单元连接的更新单元,用于将所述立体图像上各像素点的水平坐标更新为第一偏移单元偏移后的水平坐标,并根据偏移后各像素点的视差更新所述立体图像的视差范围,然后激活第二偏移参数确定单元;与所述更新单元连接的第二偏移参数确定单元,用于按等比例缩放的方式对所述立体图像的视差进行调整,确定各像素点的水平坐标的第二偏移量和第二偏移方向,使得调整后的所述立体图像的视差范围落入设定的立体显示装置的最佳视差范围;以及与所述第二偏移参数确定单元连接的第二偏移单元,用于根据所述第二偏移量和第二偏移方向对所述立体图像上各像素点的水平坐标进行偏移。较佳地,所述偏移参数确定单元包括:第二偏移参数确定单元,用于在按等比例缩放的方式对立体图像的视差进行调整时,确定各像素点的水平坐标的第二偏移量和第二偏移方向,使得调整后的立体图像的视差范围落入设定的立体显示装置的最佳视差范围;所述偏移单元包括:第二偏移单元,用于根据确定的第二偏移量和第二偏移方向对所述立体图像上各像素点的水平坐标进行偏移。较佳地,所述第二偏移参数确定单元确定各像素点的水平坐标的第二偏移量时,每一像素点的水平坐标的第二偏移量X’_offset根据下式确定:X′_offset=D_h·(1-p),p=min(M_b/M′,N_b/N′)其中,D_h表示该像素点的视差,M_b,N_b分别为立体显示装置的最佳视差范围的最大正视差和最小负视差,M/5≤M_b≤M,N/5≤N_b≤N,M’和N’分别为立体图像的最大正视差和最小负视差,M和N分别为立体显示装置支持的最大正视差和最小负视差,p表示M_b/M′和N_b/N′中的最小值;所述第二偏移单元根据确定的第二偏移量和第二偏移方向对所述立体图像上各像素点的水平坐标进行偏移,采用以下方式:将左图像上各像素点的水平坐标向右偏移X’_offset;或者将右图像上各像素点的水平坐标向左偏移X’_offset;或者将左图像上各像素点的水平坐标向右偏移X’_offset1,同时将右图像上各像素点的水平坐标向左偏移X’_offset2,且满足X’_offset1+X’_offset2=X’_offset。较佳地,所述获取单元获取立体图像的视差范围,是获取每一帧立体图像的最大正视差和最小负视差,作为该帧立体图像的视差范围;其他单元是对该帧立体图像进行处理;或者所述获取单元获取立体图像的视差范围,是确定该组中各立体图像的最大正视差的均值或最大值,以及各立体图像的最小负视差的均值或最小值,作为该组立体图像的视差范围;其他单元是对该组立体图像中的每一帧立体图像进行相同的处理。相应的,本发明还提供了一种终端设备,包括立体显示装置,其特征在于,还包括上述图像处理装置。上述方案基于立体显示装置的视差表现能力,对要显示的立体图像进行动态视差调整,从而让立体图像在该立体显示装置上显示时,总是充分利用该立体显示装置的视差表现能力,提供给用户尽可能好的立体效果。
附图说明
图1a和图1b分别示出了作为示例的立体图像的左图像(L)和右图像(R);图2a和图2b分别示出了图1a中左图像(L)上的一像素点和图1b中右图像(R)上的一对应像素点的坐标,用于说明视差的正负;图3是本发明实施例一立体图像处理方法的流程示意图;图4a和图4b是依照本发明第一实施例对立体图像调整后,立体图像中像素点的位置变化的示意图;图5是本发明实施例一提供的图像处理装置的模块图;图6是本发明实施例二立体图像处理方法的流程示意图;图7是本发明实施例二提供的图像处理装置的模块图;图8是本发明实施例三立体图像处理方法的流程示意图;图9是本发明实施例三提供的图像处理装置的模块图;图10是基于本发明实施例三的一应用示例的立体图像处理方法的流程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。本发明的发明人发现,目前的图像处理中,立体图像被采集后,视差信息被固定下来,不能够根据不同的立体显示装置的视差表现能力进行调整以达到最佳的立体显示效果,这限制了立体显示技术的发展。例如,用于在电影院播放的立体图像在液晶电视上播放时,立体图像的最大正视差和最小负视差均可能超过液晶电视支持的最大正视差和最小负视差,此时液晶电视显示的图像就可能出现不清楚或立体感降低等问题。为此,本发明提供了一种立体图像处理方法和相应的图像处理装置,能够对要显示的立体图像的视差范围进行动态调整,使立体图像适应不同立体显示装置。具体的,在本发明中在获取立体图像的视差范围后,确定对该立体图像进行视差调整时,根据获取的立体图像的视差范围及立体显示装置的视差特性,确定立体图像上各像素点的水平坐标的偏移量及偏移方向,根据该偏移量和偏移方向对立体图像上各像素点的水平坐标进行偏移。为了便于说明,各实施例中立体图像的视差正负按照图2a和图2b所示来确定,以右方向为水平坐标的正向。例如,第一物体101,104上的点(x1,y1)和(x2,y2)它们之间的水平视差是Dh=x2-x1,垂直视差是Dv=y2-y1。由于人眼是水平的,同时目前主流的立体显示装置均主要提供水平视差,在此假设立体图像只有水平视差,也就是Dv=0。坐标原点和坐标单位优选的与立体显示装置的屏幕坐标一致,例如对于PC通常坐标原点为左上角。实施例一在某些场景下,例如立体图像的视差范围和立体显示装置支持的视差范围相比,可能立体图像的最大正视差M’大于立体显示装置支持的最大正视差M,同时立体图像的最小负视差N’也大于立体显示装置支持的最小负视差N,导致立体显示装置显示该立体图像时,无法显示其最大正视差M’。这种情况下,由于立体图像的视差范围的中心相对立体显示装置支持的视差范围的中点距离较大,立体图像的视差范围没有均布在立体显示装置支持的视差范围的中点两侧,因而没有充分利用该立体显示装置的视差表现能力。如通过视差调整,对立体图像上各像素点的视差进行整体偏移(即同一图像上所有像素点的水平坐标的偏移量和偏移方向相同),就有可能充分的利用立体显示装置的视差表现能力,取得更好的立体显示效果。如图3所示,本实施例的立体图像处理方法包括:步骤101,获取立体图像的视差范围;立体图像的相关数据中可能存在立体图像的视差信息,此时可根据该视差信息直接获取立体图像的视差范围,即立体图像的最大正视差M′和最小负视差N′。如果不存在该视差信息,可以通过比较立体图像上每一个像素点的差异,计算得到立体图像上各像素点的视差值,进而确定立体图像的最大正视差M′和最小负视差N′。像素点的视差计算的基本都是从两个方面考虑:一个是匹配约束,一个是平滑约束,只不过具体应用这两种约束的手段不同,本发明对于该视差计算的具体实现形式不做限制。步骤102,以整体偏移的方式对立体图像的视差进行调整时,确定立体图像上各像素点的水平坐标的偏移量和偏移方向,使得立体图像的视差范围的中点与立体显示装置支持的视差范围的中点之间的距离减小;视差范围的中点即最大正视差和最小负视差之和的一半。对于立体图像而言,其视差范围的中点为(M’+N’)/2,对于立体显示装置而言,其支持的视差范围的中点(M+N)/2。可以无条件地对所述立体图像以上述整体偏移的方式进行视差调整,但为了减小视差调整的计算量,提高为用户提供立体显示效果的效率,本实施例是在立体图像的视差范围满足设定的第一条件时进行,第一条件如可以是以下条件中的至少一种:a)立体图像的视差范围超出了立体显示装置支持的视差范围,即满足M’>M和N’offset可以根据下式计算:X_offset=k₁(M-M′)+k₂(N-N′)xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0xa0(1)其中,k₁,k₂分别表示正视差的权值和负视差的权值,k₁+k₂=1。特别地,如果要使立体图像的视差范围的中点与立体显示装置支持的视差范围的中点重合,可以取k₁=k₂=0.5。水平坐标的偏移可以只对左图像或右图像上的像素点进行,也可以对左图像和右图像上的像素点同时进行。在不同图像上偏移时偏移方向不同,根据偏移要达到的目的(中点之间的距离减少)可以很容易的确定。步骤103,根据确定的偏移量和偏移方向对立体图像上各像素点的水平坐标进行偏移。本实施例中,将左图像上各像素点的水平坐标向左偏移X_offset,也即X_offset为正值时,是向左偏移,如X_offset为负值,是向右偏移。在另一实施例中,也可以将右图像上各像素点的水平坐标向右偏移X_offset,也即X_offset为正值,是向右偏移,如X_offset为负值,是向左偏移。在其他实施例中,也可以将左图像上各像素点的水平坐标向左偏移X_offset1,同时将右图像上各像素点的水平坐标向右偏移X_offset2,且应满足X_offset1+X_offset2=X_offset。只对左图像或右图像上各像素点的水平坐标进行偏移的方式可以看成该方式下X_offset2=0或者X_offset1=0时的两个特例。对像素点的水平坐标进行偏移后生成的新的立体图像的视差已发生了变化,即实现了对立体图像的视差调整。应说明的是,步骤102中的式1可变换为X_offset=(k₁(M′-M)+k₂(N′-N))/2,即与式(1)中的X_offset的符号相反,则在步骤103中,是将左图像上各像素点的水平坐标向右偏移X_offset,或者将右图像上各像素点的水平坐标向左偏移X_offset。这只是上述实施例的一种等同替代方式。根据人类眼睛的特点,影响立体效果最大的两个因素,一个汇聚点(convergence),另一个是左相机和右相机的间距(separation)。本实施例对视差做整体偏移的方式相当于在成像时对汇聚点进行前后移动产生的变化,正视差的变化量与负视差的变化量是相同的。如图4a和图4b所示,假设左图中像素点A的正视差为AA’,像素点B的负视差为BB’,假定通过本实施例的处理得到右图,像素点A的正视差变为AA”,像素点B的负视差变为BB”,各个像素点的偏移量A’A”和B’B”是相同的。对应在立体显示效果上,就看到立体场景在整体的前后移动。采用本实施例的处理方式,在立体图像的视差范围小于或等于立体显示装置的视差范围即(M’-N’)≤(M-N)的场景下,可以使得立体图像的视差范围落入立体显示装置的视差范围(包括重合的情况),即M’≤M,N’≥N。如果立体图像的视差范围大于立体显示装置的视差范围,也可以避免正视差或者负视差有一方过分的超过范围,即有均布的效果。相应地,本实施例提供的图像处理装置如图5所示,包括获取单元11、判断单元12、偏移参数确定单元13和偏移单元14,其中:获取单元11,用于获取立体图像的视差范围。判断单元12,用于判断是否满足以整体偏移方式对立体图像的视差进行调整的第一条件,如满足,激活偏移参数确定单元。第一条件见步骤102中的说明。偏移参数确定单元13,用于在以整体偏移方式对立体图像的视差进行调整时,确定各像素点的水平坐标的偏移方向和偏移量,使得立体图像的视差范围的中点与立体显示装置支持的视差范围的中点之间的距离减小。具体的确定方法见步骤102中的说明。偏移单元14,用于根据确定的偏移量和偏移方向对立体图像上各像素点的水平坐标进行偏移。具体的偏移方式见步骤103中的说明。如上文所说的,可以不对视差调整的条件进行判断,因此,在另一实施例中,判断单元12是可选的。在其他实施例中,也不排除其他的偏移方式,如根据立体图像的视差范围超出立体显示设备支持的视差范围的超出量,如为立体图像的最大正视差超出立体显示设备支持的最大正视差一定的超出量,则将该超出量作为立体视图的偏移量X_offset。实施例二在某些场景下,立体图像的视差范围大于立体显示装置支持的视差范围,即(M’-N’)>(M-N),此时立体显示装置只能对立体图像的部分视差进行显示,影响了立体显示效果,也没有做到对立体显示装置的视差表现能力的充分利用。对于不同类型的立体显示装置而言,其视差特性除了支持的视差范围外,还可有一个最佳视差范围。立体显示装置的最佳视差范围与显示器的尺寸、种类和光学设计参数有关,该最佳视差范围可以根据经验值设定,可根据实际效果进行调整。该最佳视差范围可作为参数配置在图像处理装置中或由图像处理装置读取得到,也可以在得到立体显示装置支持的视差范围后乘以相应比例得到,假定立体显示装置的最佳视差范围的最大正视差为M_b,最小负视差为N_b,在一示例中,M_b,N_b可以在M_b=M/5~M,N_b=N/5~N的范围内取值,如取为M_b=M/2,N_b=N/2,M为立体显示装置支持的最大正视差,N为立体显示装置支持的最小负视差。在另一示例中,也可以取M_b=M,N_b=N。如图6所示,本实施例的立体图像处理方法包括:步骤201,获取立体图像的视差范围;本步骤请参照步骤101。步骤202,按等比例缩放的方式对立体图像的视差进行调整时,确定立体图像上各像素点的水平坐标的偏移量和偏移方向,使得调整后的立体图像的视差范围落入设定的立体显示装置的最佳视差范围;立体图像上每一像素点的偏移量X’_offset可以根据下式来确定:X′_offset=D_h·(1-p),p=min(M_b/M′,N_b/N′)其中,D_h表示该像素点的视差,p表示M_b/M′和N_b/N′中的最小值。同实施例一相同的,水平坐标的偏移可以只对左图像或右图像上的像素点进行,也可以对左图像和右图像上的像素点同时进行。在不同图像上偏移时偏移方向不同,根据偏移要达到的目的可以很容易的确定。步骤203,根据确定的偏移量和偏移方向对立体图像上各像素点的水平坐标进行偏移。本实施例中,将左图像上各像素点的水平坐标向右偏移X’_offset,也即X’_offset为正值时,是向右偏移,如X’_offset为负值,是向左偏移;在另一实施例中,也可以将右图像上各像素点的水平坐标向左偏移X’_offset,也即X’_offset为正值时,是向左偏移,如X’_offset为负值,是向右偏移。在其他实施例中,也可以将左图像上各像素点的水平坐标向右偏移X’_offset1,同时将右图像上各像素点的水平坐标向左偏移X’_offset2,且满足X’_offset1+X’_offset2=X’_offset。上述只对左图像或右图像上各像素点的水平坐标进行偏移的方式可以看成该方式下X’_offset2=0或者X’_offset1=0时的两个特例。假定立体图像的M_b/M′b/N′,以具有最大正视差的像素点为例,调整后的最大正视差为D′_h=D_h-D_h·(1-p)=D_h·p,因为D_h=M′,p=M_b/M′,则D′_h=M_b。可见,立体图像的最大正视差已被调整为立体显示装置的最佳视差范围的最大正视差,此时立体图像调整后的最小负视差应大于立体显示装置的最佳视差范围的最小负视差。因此,调整后的立体图像的视差范围落入了设定的立体显示装置的最佳视差范围。如果将该最佳视差范围设置为立体显示装置支持的视差范围,则调整后的立体图像的视差范围落入立体显示装置支持的视差范围。M_b/M′>N_b/N′时情况类似,只是立体图像的最小负视差被调整为立体显示装置的最佳视差范围的最小负视差,不再赘述。本实施例对立体图像的视差进行等比例缩放的方式,对应在立体显示效果上就似乎左相机和右相机(或者说人的左、右眼)的间距发生变化。调整后,可以充分利用立体显示装置的视差表现能力,显示立体图像所有像素点的视差,同时取得良好的显示效果。相应地,本实施例提供的图像处理装置如图7所示,包括获取单元21、偏移参数确定单元22和偏移单元23,其中:获取单元21,用于获取立体图像的视差范围。偏移参数确定单元22,用于在按等比例缩放的方式对立体图像的视差进行调整时,确定各像素点的水平坐标的偏移量和偏移方向,使得调整后的立体图像的视差范围落入设定的立体显示装置的最佳视差范围。具体的确定方式见步骤202中的说明。偏移单元23,用于根据确定的偏移量和偏移方向对立体图像上各像素点的水平坐标进行偏移,实现对立体图像的视差调整。具体的偏移方式见步骤203中的说明。本实施例按等比例缩放的方式对立体图像的视差进行调整是无条件地。但在另一实施例中,也可以在立体图像的视差范围满足设定的条件后再进行,该条件可以是以下条件的至少一种:a)p值小于设定的最小值P_min;b)p值大于设定的最大值P_max;c)立体图像的视差范围超出了立体显示装置支持的视差范围时,也即M’>M和/或N’0,如果是,执行步骤404,如果否,执行步骤407;本步骤即判断立体图像的视差范围是否超出立体显示装置支持的视差范围。步骤404,计算c=(a+b)/2;该偏移量相于当使立体图像的视差范围的中点与立体显示装置支持的视差范围的中点重合所需的偏移量。步骤405,令左图像各像素点的水平坐标等于原水平坐标加-c(即向左移动c);或者,令右图像各像素点的水平坐标等于原水平坐标加c(即向右移动c);步骤406,计算e=M/(M′+c),f=N/(N′+c),转入步骤408;本步骤是用新的视差范围计算参数e,f;步骤407,计算e=M/M′,f=N/N′;本步骤是用未调整过的视差范围计算参数e,f;步骤408,计算g=min(e,f);参数g与实施例二中的参数p相关,只是此处是求比值M/M’,N/N’中的最小值,而p是求比值M_b/M’,N_b/N’中的最小值。步骤409,将左图像各像素点的水平坐标向右偏移Dh-Dh*g/2(或者将右图像各像素点的水平坐标向左偏移Dh*g/2-Dh,其中Dh为任一像素点的当前视差。上述计算虽然形式上与实施例三的上述流程的描述有些差异,但是实质上是相同的,相当于取M_b=M/2,N_b=N/2的情况。可以了解,如果只执行上述步骤中的步骤401~405,即为实施例一的一个应用示例。如果只执行上述步骤中的步骤401,407~409,即为实施例二的一个应用示例。以上各个实施例中,所述立体图像处理方法可以是对视频内容中每一帧立体图像的处理方法,所述获取立体图像的视差范围是获取每一帧立体图像的最大正视差和最小负视差,作为该帧立体图像的视差范围。相应地,上述各个实施例中的立体图像处理装置中,获取单元获取立体图像的视差范围,是获取每一帧立体图像的最大正视差和最小负视差,作为该帧立体图像的视差范围;其他单元是对该帧立体图像进行处理。或者,所述立体图像处理方法是对视频内容包含的一组立体图像的处理方法,所述获取立体图像的视差范围是确定该组中各立体图像的最大正视差的均值或最大值,以及各立体图像的最小负视差的均值或最小值,作为该组立体图像的视差范围;所述根据确定的所述偏移量和偏移方向对所述立体图像上各像素点的水平坐标进行偏移,是按相同方式对该组立体图像中的每一帧立体图像进行偏移处理。此时,实施例一达到的使立体图像的视差范围均布的效果应理解为该组立体图像在整体上有均布的效果。相应地,上述各个实施例中的立体图像处理装置中,所述获取单元获取立体图像的视差范围,是确定该组中各立体图像的最大正视差的均值或最大值,以及各立体图像的最小负视差的均值或最小值,作为该组立体图像的视差范围;其他单元是对该组立体图像中的每一帧立体图像进行相同的处理。以上各实施例的立体图像处理装置可以应用于包含立体显示装置的终端设备中,如手机、电脑、PDA等。也可以应用单独的设备,用于对视频内容处理后,作为具有相应立体显示装置的终端设备的片源。上述立体图像处理方法可以由图像处理装置自动完成也可以通过人机交互来触发执行。另外,为了增加灵活性,可以由用户通过用户控制器向图像处理设备配置用于确定立体图像上各像素点的水平坐标偏移量的数值,如上述实施例中的X_offset、p、X’_offset等值中的一个或多个。这样图像处理装置不需要按照上述实施例中的公式计算。为了防止用户无经验地调整导致立体图像最终无法正常显示,可以在设置立体图像的视差范围超出立体显示装置的视差范围时才提示用户配置参数。本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成,所述程序可以存储于计算机可读存储介质中,如只读存储器、磁盘或光盘等。可选地,上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现,相应地,上述实施例中的各装置/模块/单元可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。